Toward Calibrated Mixture-of-Experts Under Distribution Shift
分布偏移下校准混合专家模型
🧭 分布偏移下 MoE 校准
Johns Hopkins University
证明硬路由 MoE 的专家级校准在分布偏移下仍能保证全局校准，而软路由不成立，并提出对抗重加权提升校准-准确率权衡
📌 工作参考价值（4 点）
- 推荐/广告系统常面临分布偏移（促销、季节、新用户群），使用 MoE 结构时可直接借鉴本文结论：硬路由下只需校准各专家即可保证整体概率可靠性，工程实现更轻量。
- 若业务需软路由以获取更平滑的专家组合，可用提出的对抗重加权损失（惩罚偏移下的路由聚合校准误差）微调模型，尤其适合高价值子集（高消费用户、长尾物品）上的概率估计优化。
- 广告出价、CTR 预估对概率校准极其敏感，该方法在不牺牲精度的前提下提升 ECE，可直接集成到训练 pipeline 中，作为辅助损失项。
- 在 Agent 多智体或任务路由场景，不同专家处理不同意图/域，分布偏移常见，本文的理论分析和训练技巧可指导路由策略选择与校准保障。